范式转变：从任务专用模型到大型语言模型

NLP 的演进：从碎片化 AI 到基础模型

定义

• 碎片化 AI：这一时代以离散的、专用的神经网络架构为特征，这些架构专为序列标注或分类等单一任务而设计。
• 基础模型：一种统一的、单体式 Transformer 架构，将所有语言问题都视为生成式的文本到文本序列 $x \rightarrow y$。

核心概念

• 架构整合： 过去，NLP 需要定制的流水线（用于 NER 的 Bi-LSTM、用于情感分析的 CNN）。大型语言模型将这些孤立系统整合为单一主干，相同的权重可用于所有任务。
• 统一接口： 大型语言模型以自然语言接口取代了专用的“输出头”（例如三分类 Softmax）。输入和输出始终是字符串，使模型能够解读 意图 而非 格式。
• 知识迁移： 传统模型对每项任务都是“白板一块”。大型语言模型优先考虑 泛化优先，即具体任务只是对已有的、稳健的语言内部表征的应用。

历史背景

• 2018 年之前： 任务相互隔离，需要使用不同的损失函数 $\mathcal{L}_{task}$ 来训练不同的模型。
• 现代： “文本到文本”范式允许单一模型（例如 Llama-3）通过零样本或少样本提示在不同任务间切换。